From Understanding to Action: Feedback-Grounded Policy Discovery for Generative Recommendation
从理解到行动：基于反馈的策略发现用于生成式推荐
🧭 生成式推荐 · 策略发现与知识蒸馏 ★ 深度解读
Huazhong Agricultural University · Fudan University · Kuaishou Technology · Tianjin University
识别理解-行动差距，提出反馈驱动的策略发现与关系蒸馏框架，将LLM决策知识迁移至轻量SID生成器，实现高效推荐
📌 工作参考价值（4 点）
- 解耦意图与策略，用结果反馈筛选有效策略：将推荐决策拆分为意图理解（用户要什么）和策略（怎么推荐），通过LLM生成多个候选策略，再用实际推荐结果的增量收益（相比仅意图）筛选并迭代优化策略，避免语言合理但推荐效果不佳的策略。可直接用于电商推荐中优化决策逻辑，提升收入。
- 关系蒸馏替代直接匹配，将LLM知识迁移至轻量在线模型：由于LLM的语义空间与行为推荐空间不一致，采用一阶与高阶关系蒸馏对齐用户间的相对结构，比直接匹配嵌入更稳定。可在广告/电商系统中离线用LLM生成意图与策略，蒸馏到轻量生成式模型，在线推理仅增加两个Token位置，延迟仅从0.023s增至0.032s，无需LLM在线调用，适合大规模部署。
- 利用历史轨迹和群组反馈进行策略演化：策略代理基于用户正历史子序列生成多个推荐方向与拒绝边界，执行器统一评估各策略的相对优势，反馈代理通过对比分析给出群体级优化信号，最多两轮演化即可得到稳定增益。该多候选-执行-反思的Agent协作模式可推广到其他需要决策优化的场景，如搜索重排或广告创意选择。
- 意图与策略的粗-细分工设计：实验表明，意图Token主要提升Semantic ID第一层（粗粒度类别）的召回，策略Token在更深层级（细粒度区分）贡献更大。可据此设计分层生成结构，由意图约束大类，策略处理细排，有效提升推荐精度。